A Machine Learning-based Cloud Detection Algorithm for the Himawari-8 Spectral Image     

Chao LIU  Shu YANG  Di DI  Yuanjian YANG  Chen ZHOU  Xiuqing HU  Byung-Ju SOHN 《大气科学进展》2022,39(12):1994-2007

Cloud Masking is one of the most essential products for satellite remote sensing and downstream applications. This study develops machine learning-based (ML-based) cloud detection algorithms using spectral observations for the Advanced Himawari Imager (AHI) onboard the Himawari-8 geostationary satellite. Collocated active observations from Cloud-Aerosol Lidar with Orthogonal Polarization (CALIOP) are used to provide reference labels for model development and validation. We introduce both daytime and nighttime algorithms that differ according to whether solar band observations are included, and the artificial neural network (ANN) and random forest (RF) techniques are adopted for comparison. To eliminate the influences of surface conditions on cloud detection, we introduce three models with different treatments of the surface. Instead of developing independent ML-based algorithms, we add surface variables in a binary way that enhances the ML-based algorithm accuracy by ~5%. Validated against CALIOP observations, we find that our daytime RF-based algorithm outperforms the AHI operational algorithm by improving the accuracy of cloudy pixel detection by ~5%, while at the same time, reducing misjudgment by ~3%. The nighttime model with only infrared observations is also slightly better than the AHI operational product but may tend to overestimate cloudy pixels. Overall, our ML-based algorithms can serve as a reliable method to provide cloud mask results for both daytime and nighttime AHI observations. We furthermore suggest treating the surface with a set of independent variables for future ML-based algorithm development.  相似文献   

Climatology of Shear Line and Related Rainstorm over the Southern Yangtze River Valley Based on an Improved Intelligent Identification Method     

刘金卿  陈鹤  徐靖宇 《热带气象学报(英文版)》2022,28(4):413-424

Based on four reanalysis datasets including CMA-RA, ERA5, ERA-Interim, and FNL, this paper proposes an improved intelligent method for shear line identification by introducing a second-order zonal-wind shear. Climatic characteristics of shear lines and related rainstorms over the Southern Yangtze River Valley (SYRV) during the summers (June-August) from 2008 to 2018 are then analyzed by using two types of unsupervised machine learning algorithm, namely the t-distributed stochastic neighbor embedding method (t-SNE) and the k-means clustering method. The results are as follows: (1) The reproducibility of the 850 hPa wind fields over the SYRV using China’s reanalysis product CMA-RA is superior to that of European and American products including ERA5, ERA-Interim, and FNL. (2) Theory and observations indicate that the introduction of a second-order zonal-wind shear criterion can effectively eliminate the continuous cyclonic curvature of the wind field and identify shear lines with significant discontinuities. (3) The occurrence frequency of shear lines appearing in the daytime and nighttime is almost equal, but the intensity and the accompanying rainstorm have a clear diurnal variation: they are significantly stronger during daytime than those at nighttime. (4) Half (47%) of the shear lines can cause short-duration rainstorms (≥20 mm (3h)-1 ), and shear line rainstorms account for one-sixth (16%) of the total summer short-duration rainstorms. Rainstorms caused by shear lines are significantly stronger than that caused by other synoptic forcing. (5) Under the influence of stronger water vapor transport and barotropic instability, shear lines and related rainstorms in the north and middle of the SYRV are stronger than those in the south.  相似文献   

面向高分遥感影像道路提取的轻量级双注意力和特征补偿残差网络模型     

陈振  陈芸芝  吴婷  李佳优 《地球信息科学学报》2022,24(5):949-961

针对高分辨率遥感影像背景复杂,道路提取容易受阴影、建筑物和铁路等背景信息干扰的问题,提出一种带有轻量级双注意力和特征补偿机制的DAFCResUnet模型。该模型在ResUnet的基础上,通过增加轻量级的双注意力和特征补偿模块实现模型在性能和时空复杂度上的平衡。其中,双注意力模块可以增强模型的特征提取能力,特征补偿模块可以融合网络中来自深浅层的道路特征。在DeepGlobe和GF-2道路数据集上的实验结果表明,DAFCResUnet模型的IoU和F1-score可以达到0.6713、0.8033和0.7402、0.8507,模型的整体精度优于U-Net、ResUnet和VNet模型。与U-Net和ResUnet模型相比,DAFCResUnet模型仅增加了少量的计算量和参数量,但IoU和F1-score均有较大幅度的提高;与VNet模型相比,DAFCResUnet模型在计算量和参数量远低于VNet的情况下取得了更高的精度,模型在精度和时空复杂度两方面均有优势。相比其他对比模型,DAFCResUnet模型具有更强的特征提取和抗干扰能力,能更好解决道路上的干扰物、与道路特征相似地物、树荫或阴影遮挡等造成的道路空洞、误提和漏提现象。  相似文献   

AlexNet支持下的地图建筑物形状分类方法     

焦洋洋  刘平芝  刘爱龙  刘松林 《地球信息科学学报》2022,24(12):2333-2341

地图目标的形状在地图制图综合、空间查询等研究中发挥着重要作用。地图建筑物形状的识别与分类作为建筑物轮廓化简与典型化的基础,一直是制图综合研究的热点问题。目前,主要的建筑物形状识别方法主要依赖对建筑物轮廓的描述,对建筑物等地图面状要素的形态特征有较强的依赖性,通常只在应对特定类型的规则轮廓或直角化轮廓时能发挥较好的效果,对于形状不规则或复杂的情况识别不佳。本文提出一种AlexNet支持下的地图建筑物形状分类方法,将矢量地图中建筑物数据的形状分类问题,转化为建筑物栅格图像的分类问题,通过完成卷积神经网络的图形分类实现建筑物的形状识别。该方法首先结合空间认知规律提出一系列典型建筑物形状类型,然后利用矢量-栅格转换的方法从OSM数据采样单体建筑物栅格图像,通过人工标识获得建筑物形状分类训练样本,训练AlexNet卷积神经网络分类模型,最后利用训练好的模型对大比例尺建筑物数据进行智能形状分类与识别。本文利用北京、香港2个城市的OSM建筑物数据作为样本训练建筑物形状分类模型,并在广州部分城区的OSM建筑物数据上进行验证。相较传统形状相似性度量方法,本文提出的方法对实验区建筑物的识别分类总体查全率提高了2.48%,达到92.32%,对于较为复杂的形状（如T形、十字形）识别也具有更高的精度,查准率分别提高了13.83%和24.53%。实验结果表明本文提出的方法对建筑物形状分类的效果有明显提升,能够实现常见建筑物形状的有效分类,为下一步的建筑物化简、典型化等综合操作打下了基础。  相似文献   

基于改进DeepLabv3+孪生网络的遥感影像变化检测方法     

赵祥  王涛  张艳  郑迎辉  张昆  王龙辉 《地球信息科学学报》2022,24(8):1604-1616

传统遥感影像变化检测方法依赖人工构建特征,算法设计复杂且精度不高;而将2幅不同时相影像叠加后输入神经网络的遥感影像变化检测方法会造成不同时相的特征相互影响,难以保持原始影像的高维特征,且模型鲁棒性较差。因此,本文提出一种基于改进DeepLabv3+孪生网络的遥感影像变化检测方法,以经典DeepLabv3+网络的编解码结构为基础对网络进行改进：① 在编码阶段利用共享权值的孪生网络提取特征,通过2个输入端分别接收2幅遥感影像,以保留不同时相影像的高维特征;② 在特征融合中用密集空洞空间金字塔池化模型代替空洞空间金字塔池化模型,通过密集连接的方式结合每个空洞卷积的输出,以提高对不同尺度目标分割的精度;③ 在解码阶段中针对不同层级特征图信息差异较大,难以融合的问题,引入基于注意力机制的特征对齐模型,引导不同层级的特征对齐并强化学习重要特征,以提升模型的鲁棒性。应用开源数据集CDD验证本文方法的有效性,并与UNet-EF、FC-Siam-conc、Siam-DeepLabv3+和N-Siam-DeepLabv3+网络对比试验。试验结果表明,本文方法在精确率、召回率、F1值和总体精度上达到87.3%、90.2%、88.4%、96.4%,均高于UNet-EF、FC-Siam-conc、Siam-DeepLabv3+网络和N-Siam-DeepLabv3+网络,检测结果较为完整,对边界的检测也更为平滑,且对尺度变化具有更高的鲁棒性。  相似文献   

A brief catalogue of failures: Framing evaluation and learning in fisheries resource management     

Kre Nolde Nielsen  Petter Holm 《Marine Policy》2007,31(6):669-680

We propose a framework for enabling a systematic evaluation of a fisheries resource management system, which we define as a feed-back mechanism coupled to a fishery. The resource management system includes four basic functions: diagnostics, intervention, goal setting, and decision making. This model allows for the development of an evaluation framework for fisheries resource management by facilitating a typology of failures. We suggest that the potential for systemic and interdisciplinary learning will be significantly enhanced through the process of developing such a framework.  相似文献   

水下智能潜器的神经网络运动控制   总被引：10，自引：4，他引：10  

彭良  卢迎春  万磊  孙俊岭 《海洋工程》1995,(2)

本文介绍一种基于神经网络的水下智能潜器的运动控制方法，该方法通过在线学习，融控制与滤波为一体。计算机仿真与水池实验验证表明，该方法的控制与滤波性能良好，对环境的学习与适应能力强。该方法事实上可用于一般动力系统的控制。  相似文献   

流形上的空间密度聚类算法研究     

刘峰  刘希玉  刘弘 《中国海洋大学学报(自然科学版)》2007,37(4):681-684,626

研究流形上的聚类分析，针对基于密度的空间聚类引入了流形概念，提出1种基于流形的密度聚类算法，该方法将流形的概念与聚类相结合，可以适用于样本为复杂分布的聚类。文中通过实例证明此算法的有效性。  相似文献   

基于CART算法的三维成矿预测研究——以安徽白象山矿区为例          下载免费PDF全文

李志辉  赵萍  李晓晖  袁峰  周宇章 《地质科学》2018,(4):1314-1326

把地质大数据和人工智能技术引入矿产资源定量评价及成矿预测体系中,提高了海量地质数据的有效信息挖掘,弥补了传统方法的不足。本文基于白象山矿区基础地质资料和物化探成果资料,利用三维地质体建模技术和三维空间分析技术,量化三维控矿因素,建立了一种基于CART 算法的三维成矿预测模型。通过在白象山矿区的实验表明：该模型能较好的定位已知矿体,并且预测出在已知矿体北部、东部、东北部、西部、南部和东南部具有较高的成矿概率,可圈定找矿靶区。该模型将地质大数据应用于找矿勘探工作,具有纯数据驱动、预测精度高、预测结果可靠等优点。研究发现,该模型的预测效果与训练数据集的数量、矿控因素提取、决策树深度等有关。  相似文献   

大数据环境下内蒙古浩布高地区铅锌多金属矿智能矿产预测研究          下载免费PDF全文

季 斌周涛发  张达玉李晓晖 袁 峰 《地质科学》2018,(4):1347-1360

传统机器学习算法已广泛应用于矿产预测,但面对地质大数据的高维稀疏、不平衡小样本等特性仍缺乏有效处理和分析的方法,设计适合地质大数据特点的机器学习算法是智能矿产预测亟需解决的新问题。本文以内蒙古浩布高地区的铅锌多金属矿产预测为例,提出了一种面向地质大数据的半监督协同训练矿产预测模型。首先对研究区地质找矿信息和地球化学异常信息进行定量分析,提取断裂构造、二叠系地层、燕山期侵入岩、地层与岩体接触带、围岩蚀变及Pb、Zn、Sn、Cu地球化学异常共9种找矿因子。然后利用递归特征消除法优选找矿因子组合,不包括Sn异常在内的8个找矿因子组合被选为最优组合。最后,利用支持向量机和随机森林算法作为基分类器进行半监督协同训练矿产预测,绘制成矿概率分布图。ROC曲线和预测度曲线分析结果表明,半监督协同训练模型的AUC值和预测效率都高于随机森林和支持向量机模型。研究结果也为大数据环境下的智能矿产预测提供了一种新的思路。  相似文献